The number of malware is constantly on the rise. Though most new malware are modifications of existing ones, their sheer number is quite overwhelming. In this paper, we present a novel system to visualize and map millions of malware to points in a 2-dimensional (2D) spatial grid. This enables visualizing relationships within large malware datasets that can be used to develop triage solutions to screen different malware rapidly and provide situational awareness. Our approach links two visualizations within an interactive display. Our first view is a spatial point-based visualization of similarity among the samples based on a reduced dimensional projection of binary feature representations of malware. Our second spatial grid-based view provides a better insight into similarities and differences between selected malware samples in terms of the binary-based visual representations they share. We also provide a case study where the effect of packing on the malware data is correlated with the complexity of the packing algorithm.
translated by 谷歌翻译
通过越来越多的恶意软件和网络攻击,需要“正交”网络防御方法,其通过检测不被其他方法预测的唯一恶意软件样本来互补。在本文中,我们提出了一种新颖和正交的恶意软件检测(OMD)方法来使用音频描述符,图像相似性描述符和其他静态/统计特征的组合来识别恶意软件。首先,我们展示当恶意软件二进制文件表示为音频信号时,如何如何在分类恶意软件系列方面有效。然后,我们表明对音频描述符的预测与对图像相似性描述符和其他静态特征的预测正交。此外,我们开发了一个错误分析的框架和度量标准,以量化正交的新功能集(或类型)是关于其他特征集的方式。这允许我们为我们的整体框架添加新功能和检测方法。恶意软件数据集的实验结果表明,我们的方法为正交恶意软件检测提供了一种强大的框架。
translated by 谷歌翻译
恶意PDF文件对需要现代威胁情报平台的各种安全组织提出了严重威胁,以有效分析和表征PDF恶意软件的身份和行为。最先进的方法使用机器学习(ml)来学习特征PDF恶意软件的功能。然而,ML模型通常很容易受到逃避攻击的影响,其中对手会使恶意软件代码禁止以避免被防病毒检测到。在本文中,我们推出了一种简单而有效的整体方法,用于PDF恶意软件检测,利用了恶意软件二进制文件的信号和统计分析。这包括组合来自各种静态和动态恶意软件检测方法的正交特征空间模型,以便在面对代码混淆时启用广泛的鲁棒性。使用包含恶意软件和良性示例的近30,000个PDF文件的数据集,我们表明我们的整体方法维持了高检测率(99.92%)的PDF恶意软件,甚至可以检测通过简单方法创建的新的恶意文件,以删除恶意软件所进行的混淆作者隐藏他们的恶意软件,这些恶意软件被大多数杀毒失真。
translated by 谷歌翻译
Changes in real-world dynamic processes are often described in terms of differences in energies $\textbf{E}(\underline{\alpha})$ of a set of spectral-bands $\underline{\alpha}$. Given continuous spectra of two classes $A$ and $B$, or in general, two stochastic processes $S^{(A)}(f)$ and $S^{(B)}(f)$, $f \in \mathbb{R}^+$, we address the ubiquitous problem of identifying a subset of intervals of $f$ called spectral-bands $\underline{\alpha} \subset \mathbb{R}^+$ such that the energies $\textbf{E}(\underline{\alpha})$ of these bands can optimally discriminate between the two classes. We introduce EGO-MDA, an unsupervised method to identify optimal spectral-bands $\underline{\alpha}^*$ for given samples of spectra from two classes. EGO-MDA employs a statistical approach that iteratively minimizes an adjusted multinomial log-likelihood (deviance) criterion $\mathcal{D}(\underline{\alpha},\mathcal{M})$. Here, Mixture Discriminant Analysis (MDA) aims to derive MLE of two GMM distribution parameters, i.e., $\mathcal{M}^* = \underset{\mathcal{M}}{\rm argmin}~\mathcal{D}(\underline{\alpha}, \mathcal{M})$ and identify a classifier that optimally discriminates between two classes for a given spectral representation. The Efficient Global Optimization (EGO) finds the spectral-bands $\underline{\alpha}^* = \underset{\underline{\alpha}}{\rm argmin}~\mathcal{D}(\underline{\alpha},\mathcal{M})$ for given GMM parameters $\mathcal{M}$. For pathological cases of low separation between mixtures and model misspecification, we discuss the effect of the sample size and the number of iterations on the estimates of parameters $\mathcal{M}$ and therefore the classifier performance. A case study on a synthetic data set is provided. In an engineering application of optimal spectral-banding for anomaly tracking, EGO-MDA achieved at least 70% improvement in the median deviance relative to other methods tested.
translated by 谷歌翻译
This paper is a technical overview of DeepMind and Google's recent work on reinforcement learning for controlling commercial cooling systems. Building on expertise that began with cooling Google's data centers more efficiently, we recently conducted live experiments on two real-world facilities in partnership with Trane Technologies, a building management system provider. These live experiments had a variety of challenges in areas such as evaluation, learning from offline data, and constraint satisfaction. Our paper describes these challenges in the hope that awareness of them will benefit future applied RL work. We also describe the way we adapted our RL system to deal with these challenges, resulting in energy savings of approximately 9% and 13% respectively at the two live experiment sites.
translated by 谷歌翻译
在许多工程应用中,例如雷达/声纳/超声成像等许多工程应用中,稀疏多通道盲卷(S-MBD)的问题经常出现。为了降低其计算和实施成本,我们提出了一种压缩方法,该方法可以及时从更少的测量值中进行盲目恢复。提出的压缩通过过滤器随后进行亚采样来测量信号,从而大大降低了实施成本。我们得出理论保证,可从压缩测量中识别和回收稀疏过滤器。我们的结果允许设计广泛的压缩过滤器。然后,我们提出了一个由数据驱动的展开的学习框架,以学习压缩过滤器并解决S-MBD问题。编码器是一个经常性的推理网络,该网络将压缩测量结果映射到稀疏过滤器的估计值中。我们证明,与基于优化的方法相比,我们展开的学习方法对源形状的选择更为强大,并且具有更好的恢复性能。最后,在具有有限数据的应用程序(少数图)的应用中,我们强调了与传统深度学习相比,展开学习的卓越概括能力。
translated by 谷歌翻译
在辅助和自动驾驶系统的各种传感器中,即使在不利的天气或照明条件下,汽车雷达也被认为是一种健壮且低成本的解决方案。随着雷达技术的最新发展和开源的注释数据集,带有雷达信号的语义分割变得非常有前途。但是,现有的方法在计算上是昂贵的,或者通过平均将其减少到2D平面,从原始3D雷达信号中丢弃了大量的有价值的信息。在这项工作中,我们引入了Erase-Net,这是一个有效的雷达分割网络,以语义上的原始雷达信号。我们方法的核心是新型的检测到原始雷达信号的段方法。它首先检测每个对象的中心点,然后提取紧凑的雷达信号表示,最后执行语义分割。我们表明,与最新技术(SOTA)技术相比,我们的方法可以在雷达语义分割任务上实现卓越的性能。此外,我们的方法需要减少20倍的计算资源。最后,我们表明所提出的擦除网络可以被40%压缩而不会造成大幅损失,这比SOTA网络大得多,这使其成为实用汽车应用的更有希望的候选人。
translated by 谷歌翻译
在整个计算科学中,越来越需要利用原始计算马力的持续改进,通过对蛮力的尺度锻炼的尺度增加,以增加网状元素数量的增加。例如,如果不考虑分子水平的相互作用,就不可能对纳米多孔介质的转运进行定量预测,即从紧密的页岩地层提取至关重要的碳氢化合物。同样,惯性限制融合模拟依赖于数值扩散来模拟分子效应,例如非本地转运和混合,而无需真正考虑分子相互作用。考虑到这两个不同的应用程序,我们开发了一种新颖的功能,该功能使用主动学习方法来优化局部细尺度模拟的使用来告知粗尺度流体动力学。我们的方法解决了三个挑战:预测连续性粗尺度轨迹,以推测执行新的精细分子动力学计算,动态地更新细度计算中的粗尺度,并量化神经网络模型中的不确定性。
translated by 谷歌翻译
最近已证明,平均场控制(MFC)是可扩展的工具,可近似解决大规模的多代理增强学习(MARL)问题。但是,这些研究通常仅限于无约束的累积奖励最大化框架。在本文中,我们表明,即使在存在约束的情况下,也可以使用MFC方法近似MARL问题。具体来说,我们证明,一个$ n $ agent的约束MARL问题,以及每个尺寸的尺寸$ | \ Mathcal {x} | $和$ | \ Mathcal {u} | $的状态和操作空间,可以通过与错误相关的约束MFC问题近似,$ e \ triangleq \ Mathcal {o} \ left([\ sqrt {| \ Mathcal {| \ Mathcal {x} |} |}+\ sqrt {| ]/\ sqrt {n} \ right)$。在奖励,成本和状态过渡功能独立于人口的行动分布的特殊情况下,我们证明该错误可以将错误提高到$ e = \ nathcal {o}(\ sqrt {| | \ Mathcal {x x x } |}/\ sqrt {n})$。另外,我们提供了一种基于自然策略梯度的算法,并证明它可以在$ \ Mathcal {o}(e)$的错误中解决受约束的MARL问题,并具有$ \ MATHCAL {O}的样本复杂性(E^{ - e^{ - 6})$。
translated by 谷歌翻译
我们表明,在合作$ n $ n $ agent网络中,可以为代理设计本地可执行的策略,以使所得的平均奖励(值)的折现总和非常接近于计算出的最佳价值(包括非本地)策略。具体而言,我们证明,如果$ | \ MATHCAL {X} |,| \ MATHCAL {U} | $表示状态大小和单个代理的操作空间,那么对于足够小的折现因子,近似错误,则由$ \ MATHCAL {o}(e)$ where $ e \ triangleq \ frac {1} {\ sqrt {n}}} \ left [\ sqrt {\ sqrt {| \ Mathcal {x}} |} |} |} |}+\ sqrt { } |} \ right] $。此外,在一种特殊情况下,奖励和状态过渡功能独立于人口的行动分布,错误将$ \ nathcal {o}(e)$提高到其中$ e \ e \ triangleq \ frac {1} {\ sqrt {\ sqrt {n}} \ sqrt {| \ Mathcal {x} |} $。最后,我们还设计了一种算法来明确构建本地政策。在我们的近似结果的帮助下,我们进一步确定构建的本地策略在$ \ Mathcal {o}(\ max \ {e,\ epsilon \})$最佳策略的距离之内对于任何$ \ epsilon> 0 $,本地策略是$ \ MATHCAL {O}(\ Epsilon^{ - 3})$。
translated by 谷歌翻译